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(57) Abstract 

The invention concerns an adaptive senso-motor encoder for a visual or acoustic prosthesis, said encoder having a central checking 
unit for signal-processing functions, monitoring functions, control functions and external action functions. The encoder further comprises 
a group of adaptive spatio-temporal filters for converting sensor signals into stimulation pulse sequences, a bi-directional interface being 
provided for coupling the encoder to an implantable microstructure (2) for stimulating nerve or glia tissue and monitoring brain functions. 


(57) Zusammenfassung 

Die Erfindung betrifft einen lernfahigen, sensomotorischen Encoder filr eine Sehprothese oder H&rprothese, mit einer zentralen 
Kontrolleinheit fur Signalverarbeitungsfunktionen, tJberwachungsfunktionen, Steuerfunktionen und externen Eingriffsfunktionen, sowie mit 
einer Gruppe von adaptiven spatiotemporalen Filtern zur Umsetzung von Sensorsignalen in Stimulationspulsfolgen, wobei eine bidirektionale 
Schnittstelle zur Kopplung des Encoders mit einer implantierbaren Mikrostruktur (2) zur Stimulation von Nerven- oder Gliagewebe einerseits 
sowie zur Funktionsiiberwachung von Hirnfunktionen andererseits vorgesehen ist. 
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Lernfahiger sensomotorischer Encoder fur Seh- oder Horprothe- 
sen 

Die vorliegende Erfindung betrifft ein Inf ormationsverarbei- 
tungssystem als lernfahiger, sensomotorischer Encoder fur ei- 
ne Sehprothese oder Horprothese zur bidirektionalen Kopplung 
mit implantierten Mikrokontakten zur Stimulation von Nerven- 
oder Gliagewebe einerseits sowie zur FunktionsiAberwachung von 
Hirnfunktionen andererseits . 

Es sind mehrere Versuche bekannt, Sehprothesen fiir verschie- 
dene Gruppen von Blinden durch Implantation von Mikrokontak- 
ten an der Ausgangsschicht der Retina (RET) oder innerhalb 
des visuellen Cortex (VCO) zu entwickeln und durch Kopplung 
dieser Implantate mit externen Signalgebern (Encoder) nutzli- 
che visuelle Wahrnehmungen auszulosen. Encoder fur implan- 
tierbare Sehprothesen werden zum Beispiel in US 5,498,521, US 
5,351,314 oder WO95/06288 beschrieben, implantierbare Mikro- 
kontakte fiir Retina, visuellen Cortex bzw. auditorische Sy- 
steme sind in US 5, 597, 381, US 5, 569,307, US 5,549, 658, US 
5, 545,219, US 5,496,369, US 5, 411, 540, US 5,215,088, US 
5,109,844 und US 4,628,933 beschrieben. Mit neuronalen Netzen 
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und visuellen Systemen befassen sich die US 5,227,886, EP 
0435559, US 3, 766, 311 sowie mit der Ansteuerung von Mikrokon- 
takten US 5,571,148, US 5,512,906, US 5,501,703, US 
5,441,532, US 5,411,540. 

Die Zielgruppen von RET-Projekten leiden unter retinalen De- 
generationserkrankungen (z.B. Retinitis pigmentosa; Makula 
Degeneration) , wobei die Schicht der Photorezeptoren degene- 
riert ist, jedoch zumindest ein Teil der retinalen Ganglien- 
zellen und des dort beginnenden Sehnervs sowie das zentrale 
Sehsystem noch funktionstuchtig sind. Wie die vorgenannten 
Druekschrif ten zeigen, wird an der Entwicklung verschiedener 
Arten von implantierbaren Mikrokontaktstrukturen (Stimula- 
tor) , die sich innerhalb des Augapfels an die Ganglienzell- 
schicht der Retina anschmiegen und an der Entwicklung von 
drahtlosen Signal- und Energieubertragungssystemen zur Ver- 
bindung zwischen dem externen Encoder und dem implantierten 
Stimulator, oder allgemein dem Interface gearbeitet. 

Der Erfinder hat sich die Aufgabe gestellt, einen lernfahigen 
Encoder fur eine an der Retina oder der Sehrinde angekoppelte 
Sehprothese zur Umsetzung von Bildmustern, oder fur eine an 
geeigneten Bereichen des neuronalen Horsystems angekoppelte 
Horprothese zur Umsetzung von Schallmustern in Stimulations- 
signale durch adaptive, spatiotemporale Filter mit rezeptiven 
Feldeigenschaf ten der entsprechenden kontaktierten sensori- 
schen Neurone (RF-Filter) und deren optimaler Einstellung 
durch neuronale Netze als lernfahige Funktionsapproximatoren 
weiterzuentwickeln . 

Die Zielgruppen von VCO-Projekten haben typischerweise keine 
verwertbaren Sehnervf unktionen mehr und erfordern daher eine 
Implantation von z.B* kammahn lichen Mikrokontaktstrukturen in 
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Regionen des visuellen Cortex, also der Sehrinde, die direkt - 
dem Schadeldach zugewandt sind. 

Es sind auch mehrere Arten von Horprothesen (z.B. Cochlear- 
Implant) mit implantierten Mikrokontakten bekannt geworden, 
die Tauben eine teilweise Wiedergewinnung von Horwahrnehmun- 
gen ermoglichen. 

Die gegenwartig konzipierten Implantatsysteme sehen keine In- 
formationsverarbeitung der dynamischen Bildmusterdaten inner- 
halb des Sehsystems (z.B. Retina), jeweils vom optischen Ein- 
gang bis zu der durch implantierte Mikrokontakte kontaktier- 
ten neuronalen Schicht (z.B. Ganglienzellschicht der Retina, 
oder Neuronenschicht im visuellen Cortex) vor. Statt dessen 
werden einfache Bildmuster (z.B. Linie) direkt als Stimulati- 
onssignale an die ortlich verteilten Mikrokontakte ohne indi- 
viduell angepafite Inf ormationsverarbeitung als Ersatz fiir den 
hier technisch zu uberbruckenden Teil des Sehsystems (z.B. 
Retina) weitergeleitet . Dem so rudimentar und nicht angepaftt 
erregten Sehsystem fallt dabei die kaum losbare Aufgabe zu, 
aus den ortlich und zeitlich nicht korrekt vorverarbeiteten 
oder codierten Signalverlauf en Sehwahrnehmungen zu generie- 
ren, die dem Bildmuster hinreichend ahnlich sind. Ferner wird 
die physiologische Verstellbarkeit der Sehempf indlichkeit 
(Leuchtdichte-Adaptation) tiber etwa 10 Dekaden und die damit 
verbundene funktionelle Anderung der rezeptiven Feldeigen- 
schaften in technischen Photosensorsystemen nicht beriicksich- 
tigt. 

Die gegenwartig entwickelten Implantatsysteme nutzen die 
technischen Moglichkeiten zum Einsatz der Sehprothese nicht 
zur Warnung vor Gefahren und Meldung technisch erkannter Mu- 
ster an den Implantattrager . Entsprechendes gilt fiir gegen- 
wartig entwickelte Implantatsysteme fur das Horsystem. 
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Das Sehsystem erwartet aufgrund seiner wahrend der Ontogenese- 
festgelegten und durch langjahrige Sehwahrnehmungserf ahrungen 
vor Beginn der Blindheit stabilisierten Struktur und Funktion 
z.B. von jeder retinalen Ganglienzelle tiber den Sehnerv eine 
bestimmte Art der Inf ormationsverarbeitung der Bildmusterda- 
ten. Diese durch die zugehorigen rezeptiven Feldeigenschaf ten 
(RF) des Neurons neurophysiologisch umschriebene und fur je- 
des Neuron sehr unterschiedliche Erwartung wird nicht er- 
fullt, sofern z.B. die Funktion der elektronisch mit starrer 
Vorverarbeitung simulierten Retina nicht fur jeden einzelnen, 
durch Implantation hergestellten, Stimulationskontakt indivi- 
duell angepalit werden kann . Entsprechendes gilt fur das Hor- 
system. 

Das fur den normalen Sehvorgang erforderliche Zusammenwirken 
des von der Retina gespeisten, zentralen visuellen Systems 
mit einem Augenbewegungssystem und einem Akkommodationssystem 
wird als sensomotorisches 'Active Vision' System bezeichnet. 
Derartige Systeme fiir Mustererkennung, Objektverfolgung, Po- 
sitionserf assung von Objekten, usw. werden in bisherigen An- 
satzen nicht berucksichtigt . Das Sehsystem benotigt jedoch 
Augenbewegungen fiir alle Sehleistungen und erbringt nicht nur 
Erkennungsleistungen (was?), sondern vor allem auch Positi- 
onserfassungsleistungen (wo?) zur Orientierung im Raum, die 
fiir Blinde im Bemuhen urn die teilweise Wiedergewinnung des 
Sehvermogens oberste Prioritat haben. Die Auslosung von visu- 
ell induzierten Augenbewegungen ist jedoch bei der durch Im- 
plantatsysteme realistischen Stimulation von nur einem klei- 
nen Bruchteil der retinalen Ganglienzellen, oder der Neuronen 
im visuellen Cortex nicht zu erwarten. Daher kann das Sehsy- 
stem mit den bisher in Entwicklung befindlichen Implantaten 
die auf dem normalen Zusammenwirken mit Augenbewegungen ba- 
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sierenden Sehwahrnehmungen wenn iiberhaupt, nur sehr schlecht - 
leisten. 

Bei verschiedenen Blinden treten aufterdem unerwunschte, nicht 
visuell ind'uzierte Augenbewegungen mit langsamen und schnel- 
len Phasen auf, die den optimalen Einsatz, also auch die Ak- 
zeptanz dieser Art von Sehprothesen erheblich behindern kon- 
nen. Wird z.B. der Encoder mit Photosensorarray am Augapfel 
befestigt, so wird der gewlinschte Fixationsort laufend durch 
die unerwiinschten Augenbewegungen verstellt. Wird anderer- 
seits der Encoder z.B. in ein Brillengestell integriert, so 
kann- das - Sehsystem die Bildmuster mit den- nicht darau-f abge- 
stimmten Augenbewegungen als miftverstandliche Sehwahrnehmun- 
gen z.B. mit Scheinbewegungen auswerten, wie dies z.B. bei 
Schwindelwahrnehmungen der Fall ist. 

Ohne die Moglichkeit von visuell induzierten, realen Augenbe- 
wegungen und andererseits zusatzlich im Konflikt mit uner- 
wiinschten spontanen Augenbewegungen, ist die visuelle Orien- 
tierung im Raum, die Positionserf assung diverser Objekte re- 
lativ zur Lage des eigenen Korpers, z.B. fiir das angestrebte 
Ergreifen eines Turgriffes mit bisher in Entwicklung befind- 
lichen Sehprothesen, die zur Anderung der Blickrichtung auf 
Kopf-Rumpfbewegungen angewiesen sind, nur schwer moglich. Die 
zu implantierenden Strukturen haben eine sehr begrenzte Zahl 
von Mikrokontakten. Die Zahl der effektiv verwendbaren Mikro- 
kontakte ist noch kleiner, da die Kontakte durch die Implan- 
tation nur zum Teil hinreichend gtinstig relativ zu einer Ner- 
venzelle oder Faser positioniert werden konnen, daft durch 
Verwendung einzelner Kontakte, oder Kontaktpaare Nervenakti- 
onspotentiale mit vertretbar geringen Stimulationsamplituden 
ausgelost werden konnen. Bei den bisherigen Entwicklungen 
gibt es kaum Moglichkeiten, die Zahl der dauerhaft und selek- 
tiv kontaktierten Neuronen uber die bei Implantation zufallig 
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geschaffene Zahl hinaus zu erhohen. Dies ist ein Grund ftAr 
die nur geringe zu erwartende visuelle Wahrnehmungsqualitat . 
Entsprechendes gilt fur Implantatsysteme des Horsystems. 

Die fur ein'e Implantation gegenwartig entwickelten Mikrokon- 
taktstrukturen sowie Signal- und Energieubertragungssysteme 
fur Sehprothesen funktionieren unidirektional vom externen 
Encoder zum implantierten Stimulator und bieten daher keine 
Moglichkeit zur laufenden Uberwachung der neuronalen Im- 
pulsaktivitat der stimulierten Neuronen. Dadurch kann die 
Stimulationspulssequenz nicht an die Spontanaktivitat der 
Neuronen angepafit werden. -Ferner kann die Auslosung von- neu- 
robiologischen Impulsen durch Stimulationspulse nicht direkt 
uberwacht werden. Auflerdem fehlt eine sichere Impulstiberwa- 
chungsmdglichkeit fur eine mogliche zeitliche Abstimmung und 
Synchronisation der Impulsfolgen mehrerer Neuronen. Entspre- 
chendes gilt fUr Implantatsysteme des Horsystems. 

Es ist die Aufgabe der vorliegenden Erfindung, diese Nachtei- 
le zu beseitigen und einen lernfahigen, sensomotorischen En- 
coder zu schaffen. 

Diese Aufgabe wird von einer Vorrichtung mit den Merkmalen 
des Anspruchs 1 gelost. 

Weil der Encoder in bidirektionaler Kopplung mit implantier- 
ten Mikrokontakten an der Retina, oder dem visuellen Cortex 
nach einer - vorzugsweise mit Hilfe neuronaler Netze im Dia- 
log mit dem Implantattrager durchgef uhrten - Funktionsabstim- 
mung auf den individuellen Bedarf arbeitet, kann durch tech- 
nische Bildmusterverschiebungen und simulierte Augenbewegun- 
gen diverse visuelle Erkennungs-, Verfolgungs- und Positi- 
onserfassungsaufgaben sowie die Meldung von Gefahren und 
technisch erkannten Mustern geleistet werden, die Zahl der 
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selektiv erreichbaren Stimulationsorte funktionell erhoht so- - 
wie die neuronale Aktivitat einzelner zu stimulierender Neu- 
ronen uberwacht werden. Ferner kann der hier offenbarte En- 
coder Funktionen der Leuchtdichteadaptation und der Zusammen- 
stellung eines visuellen Arbeitsb'ereiches aus Ausschnitten 
eines groiien Funktionsbereiches leisten. 

Bei Einsatz fur eine Horprothese wird der lernfahige Encoder 
entsprechende Leistungen im auditor ischen Bereich erbringen. 

Bei einer bevorzugten Ausf uhrungsf orm des Encoders flir eine 
Sehprothese ist ein digitaler Signalprozessor (DSP) , bei- 
spielsweise das Modell C80 von Texas Instruments, mit einem 
Photosensorarray mit Optik als Lichtmustereinpf anger , einem 
Vorverabeitungsmodul flir visuelle Muster, einem Pulssignal- 
sender und Empfanger zur bidirektionalen Kommunikation mit 
der implantierten Struktur, mehreren Signalinterf aces zur 
Kommunikation mit der Bewertungseingabeeinheit , dem Kopfbewe- 
gungssensor, dem Augenbewegungssensor , dem Wahrnehmungs-, 
Warn*- und Erkennungssystem, Muster- und Obj ektmeldesystem und 
dem externen Oberwachungs- und Steuersystem in einem Brillen- 
gestell integriert . Die diversen lernfahigen Informations- 
verarbeitungsfunktionen insbesondere fur RF-Filter, Dialogmo- 
dul, Mustererkennung und Active Vision Funktionen sind im DSP 
mit einer zentralen Kontrolleinheit realisiert. Der Benutzer 
empfangt einerseits Signale als Stimulationspulse oder Sin- 
neswahrnehmungen vom Encoder empfangt und sendet andererseits 
Signale uber Kopf- und Augenbewegungen, sowie die Bewer- 
tungseingabe und neuronale Aktivitat an den Encoder. Der En- 
coder kann aufgrund einer bidirektionalen drahtlosen Signal- 
und Energietlbertragung in einem Brillengestell, einer Haft- 
schale am Auge, am Korper, oder an einem korperfernen Ort be- 
festigt werden. Schliefilich umfaBt der spatiotemporale Funk- 
tionsraum der RF-Filter z.B. fur den Einsatz als Retina En- 
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coder die rezeptiven Feldeigenschaf ten retinaler Ganglienzel-- 
len Oder anderer intraretinaler Neuronenklassen der Primaten- 
retina. Entsprechendes gilt fur vorteilhafte Ausgestaltungen 
des Encoders bei Kopplung mit Neuronen der Sehrinde, oder im 
Fall einer Hbrprothese fur die Kopplung mit Neuronen des Hor- 
systems . 

Eine vorteilhafte Ausgestaltung eines Verfahrens zur Einstel- 
lung der RF-Filter des Encoders im Dialog mit dem Benutzer 
ist durch Fig. 1 und Fig. 2 schematisch dargestellt. Die RF- 
Filter sind als spatiotemporale Filter realisiert, deren spa- 
tiale -und tempo-rale Funktionsparameter in einem zur -Annahe- 
rung der rezeptiven Feldeigenschaf ten visueller Neuronen hin- 
reichend grolien Funktionsraum modifiziert werden, namlich 
durch an geeigneten Stellen in den Filteralgorithmen plazier- 
te, extern zugangliche Parameteraustauschpunkte . Ein Mensch 
teilt als normalsichtige Person oder Implantattrager in einem 
wahrnehmungsbasierten Dialog mit dem Encoder den Wahrneh- 
mungsvergleich zwischen Soil- und Ist-Muster, z.B. durch eine 
als Zeile von mehreren Schiebereglern gestaltete Bewertungs- 
eingabeeinheit (s. Fig. 2) an ein technisches neuronales Netz 
mit nichtuberwachter Lernregel mit, und das neuronale Netz 
legt den nachsten Parametervektor fur das RF-Filter sowie das 
nachste Soli-Muster mit dem Ziel der Verringerung der wahrge- 
nommenen Musterdif f erenz im nachsten Dialogschritt fest. Bei 
der Suche nach optimalen Parametervektoren fur die RF-Filter 
konnen in dem Dialogmodul von einem neuronalen Netz mit 
nichtuberwachtem Lernen jeweils Parametervektoren erzeugt 
werden, die fur ein gegebenes prasentiertes Lichtmuster zu 
einer bestimmten Sehwahrnehmung fuhren und entsprechend sub- 
jektiv bewertet werden. Alternativ kann in dem Dialogmodul 
ein anderes Parameter-Einstellungssystem Sequenzen von Para- 
metervektoren zur virtuellen Bewegung im Funktionsraum des 


WO 98/36795 PCT/EP98/00968 

- 9 - 

RF- Filters z.B. als kontinuierliche Trajektorien nach Art von- 
Scanning oder Sweepverlauf en als regellose Folgen oder als 
Folgen von neurophysiologisch besonders typischen Filterfunk- 
tionen erzeugen,und der Benutzer wahrend dieser in einem ge- 
eigneten Zeittakt ablaufenden Sequenz gelegentlich aus dem 
Zusammenwirken des gegebenen Lichtmusters, des nachgeschalte- 
ten Vorverarbeitungsmoduls, des nachgeschalteten RF-Filters 
und dem uber den zugehorigen Mikrokontakt angekoppelten Teil 
des zentralen Sehsystems verursachte "sinnvolle" Wahrnehmun- 
gen melden. Anschlieftend wird in dem so gefundenen Bereich 
des Filterfunktionsraumes eine genauere Parameteroptimierung 
wahrnehmungsbasiert durchgef iihrt . Eine vorteilhafte Ausge- 
staltung der dialogbasierten Einstellung der RF-Filter des 
Encoders einer Horprothese erfolgt entsprechend. 

Bei der Erzeugung asynchroner Impulsf olgen werden die Aus- 
gangssignale der einzelnen RF-Filter durch geeignete Umset- 
zer-Algorithmen von den quasikontinuierlichen Zeitfunktionen 
der RF-Filter in asynchrone Impuls folgen entsprechend der Ak- 
tivitat visueller Neuronen im Primatensehsystem gewandelt und 
Impulsf olgen-Zeitverlauf e sowie Zeitpunkte des Auftretens 
einzelner Impulse durch variable Zeitverzogerungsglieder in 
der Dialogphase verstellt. 

Normalsichtige Personen konnen einen Wahrnehmungsvergleich 
zwischen einem Soil-Muster auf dem linken Schirm und einem 
korrespondierenden Ist-Muster auf dem rechten Schirm durch- 
fuhren. Eine vorteilhafte Ausgestaltung des Sehsystemmodelles 
fiir den Wahrnehmungsvergleich bei normalsichtigen Personen 
besteht darin, daft es fur eine Reihe von RF-Filtern, einzeln 
oder als Gruppe die jeweils zugehorige inverse Abbildung lei- 
stet und dadurch in Hintereinanderschaltung mit dem Encoder 
jeweils fur genau festgelegte Parametervektoren auf dem rech- 
ten Schirm ein Ist-Muster mit grofter Ahnlichkeit zu dem Soil- 
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Muster erzeugt. Zu Beginn des Dialogs sind die Parametervek- . 
toren der RF-Filter auf beliebige Anfangswerte gestellt, so 
dafi zunachst ein deutlicher Unterschied zwischen den Mustern 
besteht, der jedoch im Verlauf des Dialogs rait nichttiberwach- 
tem Lernen laufend geringer wird. 

Die Funktionsanpassung der RF-Filter fur Implantattrager im 
wahrnehmungsbasierten Dialog erfolgt im Vergleich zur Funkti- 
onsanpassung fur normalsichtige Personen dadurch, dafi die 
Ist-Wahrnehmung nicht auf einem Monitor, sondern nur dem Im- 
plantattrager intern zuganglich ist und daft die Soil- 
-Wahrnehmung dem Implantattrager z.B. als - Spraehinf ormation 
Oder als taktiles Beruhrungsmuster auf der Haut vermittelt 
wird. Beim Einsatz in Horprothesen ergibt sich Entsprechen- 
des, wobei statt des nicht zuganglichen Hbrorgans z.B. neben 
dem Tastsinn der hier verfugbare Gesichtssinn zur Obermitt- 
lung der Soll-Wahrnehmung verwendet werden kann. 

Die zeitliche Kopplung der von mehreren RF-Filters des En- 
coders zur Auslosung von Nervenzellimpulsen erzeugten asyn- 
chronen Impulsfolgen besteht darin, dafi die Sendezeitpunkte 
der einzelnen Impulssignale durch steuerbare Zeitverzoge- 
rungsglieder so variiert werden, dafi sich eine zeitliche 
Kopplung bis hin zum genau synchronen Auftreten ergibt, dafi 
die Variation der Zeitverzdgerung vbm Implantattrager gesteu- 
ert wird, im Dialog wahrnehmungsbasiert uber ein neuronales 
Netz erfolgt oder extern gesteuert wird, dafi die Wahl der 
zeitlich zu koppelnden Impulsgruppen sowohl vom RF-Filter 
kommende als auch im Interface registrierte Impulse berUck- 
sichtigen kann und dafi angesichts der sehr unterschiedlichen 
momentanen Impulsraten der verschiedenen RF-Filter geeignete 
Kriterien fur die Beteiligung einzelner Impulse an zu kop- 
pelnden Impulsgruppen festgelegt werden. 
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Zur funktionellen Erhohung der Zahl und Trennscharfe der se- . 
lektiv erreichbaren Stimulationsorte bei einer gegebenen Zahl 
von stationar implantierten Mikrokontakten werden die Impuls- 
signale von einem gegebenen RF-Filter an mehrere, ortlich be- 
nachbarte Mikrokontakte geleitet. Die aufgrund der Encoderbe- 
fehle genau fur jeden Mikrokontakt festgelegten und entspre- 
chend iro Interface bezuglich Stromamplitude, Polaritat und 
Phasenlage decodierten Stimulationszeitfunktionen charakteri- 
stische Zeitverlaufe des elektromagnetischen Feldes im Be- 
reich der zu stimulierenden Neuronen bewirken, daft diese 
durch Superposition aufeinander abgestimmter Stimulations- 
signale an mehreren Mikrokontakten bewirkten Feldverteilungen 
ortlich und zeitlich selektiv neuronale Impulserregungen aus- 
losen, daft die selektiven Stimulationsorte durch geeignete 
Variation der superponierten Stimulationssignale schnell ge- 
wechselt werden konnen und daft die entsprechende Variation 
diversen Parameter der aufeinander abgestimmten Stimulations- 
signale im wahrnehmungsbasierten Dialog mit dem Implantattra- 
ger tiber ein neuronales Netz, oder andere Signalvariations- 
verfahren wie z. B. eine kontinuierliche, sweepartige automa- 
tische Verstellung der Funktionsparameter der in Uberlagerung 
auf das Nervengewebe einwirkenden Stimulationsimpulse an be- 
nachbarten Elektroden zur Bestimmung moglichst vieler, zu se- 
lektiver und trennscharf er neuronaler Erregung fuhrender, 
Stimulationsorte erfolgt. Ferner wird durch Vergleich regi- 
strierter neuronaler Impulse mit den Stimulationssignalen die 
Optimierung der Stimulationszeitfunktionen bezuglich ange- 
strebter Einzelzellselektivitat und dauerhafter Biovertrag- 
lichkeit verbessert. 

Zur Simulation von Augenbewegungen zum Einsatz des Encoders 
in einer Sehprothese wird eine Bildmusterverschiebung elek- 
tronisch in der Eingangsstuf e des Encoders durch optische Va- 
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riation der Blickrichtung z.B. mit Hilfe bewegter Spiegel 
Oder durch Bewegung der Photosensoren zur Simulation von Au- 
genbewegungen realisiert. Kopfbewegungen und Augenbewegungen 
werden durch mehrdimensional f unktionierende, mikrominiaturi- 
sierte Bewegungsdetektoren detektiert und eine neuronale oder 
konventionelle Bewegungsregelung bzw. Steuerung wird unter 
Verwendung der detektierten Kopf- und Augenbewegungssignale 
und der Bildmusterverschiebung realisiert. Schnelle und lang- 
same Augenbewegungen fur Aufgaben der Mustererkennung, 
schnellem Umherblicken oder Augenf olgebewegungen werden er- 
zeugt, und durch geeignete Augenbewegungssequenzen mit 
schnellen und langsamen Phasen erfolgt eine optimale Anpas- 
sung des sensorischen Datenstromes an die Aufnahmebereit- 
schaft des zentralen Sehsystems. Beziiglich der Erzeugung von 
Augenfolgebewegungen besteht eine vorteilhafte Ausgestaltung 
darin, daft ein lernfahiger, neuronaler Pradiktor die zunachst 
unbekannte Bewegungszeit f unktion des zu verfolgenden Objektes 
aus dem Positions- und Bewegungsf ehler seiner Projektion auf 
dem Photosensor-Array erfalit, mit Hilfe geeigneter nichtli- 
nearer, lernfahiger Pradiktions-Algorithmen unter Berucksich- 
tigung der analysierten Frequenzanteile der Objektbewegung 
intern mit rasch zunehmender Gewiliheit eine Objektverfol- 
gungs-Zeitf unktion mit minimaler Verzogerung bzw. sogar mit 
geringer Voreilung generiert und bei voriibergehendem Ver- 
schwinden des verfolgten Objektes z.B. ahnlich wie bei Augen- 
folgebewegungssystem von Primaten eine Bewegungszeitfunktion 
erzeugt, die je nach Art des Objektes zu einer Fortsetzung 
der Verfolgung bei Wiederauf tauchen des relativ zum Sensor- 
array bewegten Objektes mit minimalem Positions- und Bewe- 
gungsf ehler ftihrt . 

Zur Detektion von Augen- und Kopfbewegungen und zur Kompensa- 
tion unerwiinschter Augenbewegungen werden unter Verwendung 
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der detektierten Kopf- und Augenbewegungssignale und der si- - 
mulierten Augenbewegungen mit Hilfe einer neuronalen oder 
konventionellen Bewegungsregelung bzw. Steuerung schnelle und 
langsame Augenbewegungen erzeugt. Mit Hilfe des Regelkreises 
werden nach einer entsprechenden Lernperiode unerwunschte Au- 
genbewegungen kompensiert und dafi ein aus Kopfbewegungsdetek- 
tor, Bildmusterverschiebung und einem neuronalen Netz beste- 
hender, in einer Lernphase optimierter Regelkreis eine hin- 
reichend gute Simulation des vestibulookularen Reflexes (also 
der automatisch ref lexartigen Stabilisierung der Blickrich- 
tung im Raum durch Augenbewegungen, die den auftretenden 
Kopfbewegungen genau entgegenwirken) leistet die Lagestabili- 
sierung der Bildmuster bei natiirlichen Kopf-Rumpfbewegungen 
durch entsprechend kompensatorische Augenbewegungen. 

Simulierte Augenbewegungen sowie kompensatorische Augenbewe- 
gungen sind als separat wahlbare Programme verfugbar. Die 
einzelnen Bewegungs- und Verstellungsmoden konnen als separa- 
te, oder kombinierte Programme vom Implantattrager gewahlt, 
einem automatischen Betrieb zugewiesen oder extern festgelegt 
werden. 

Der Implantattrager kann durch eine mitgefuhrte Bef ehlseinga- 
beeinheit, z.B. als Manipulandum mit Tastatur, die gewiinsch- 
ten 'Active Vision' Funktionen, wie etwa Umherblicken, oder 
Objektverfolgung anwahlen. 

Die laufende Obermittlung der aktuellen Position von visuell 
oder auditorisch erfaftten Objekten im Raum an den Implantat- 
trager besteht darin, dali die vom Encoder unter Auswertung 
von Bildmuster-, Schallmuster-, Augen- und Kopfbewegungen er- 
mittelte Objektposition mit Hilfe eines geeigneten, mitge- 
fUhrten Signalgebers an ein geeignetes Sinnesorgan, z.B. den 
Tastsinn, gemeldet wird und daii der Encoder durch interne Mu- 
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stererkennungsprogramme, insbesondere in Verbindung mit auto- 
matisch ablaufenden Augenbewegungen, den Implantat-Trager vor 
Hindernissen bzw. Gefahren warnt sowie Art und Position tech- 
nisch erkannter Muster oder Objekte meldet. 

Ein Oberwachungssystem fur eine teilweise sensomotorisch au- 
tonom agierende implantierte Struktur des Encoders besteht 
darin, daft die implant ierten Mikrokontakte sowohl zur Stimu- 
lation, als auch zur Registrierung neuronaler Impulse verwen- 
det, daft die registrierten Impulse und weiteren physikali- 
schen oder chemischen Signale von der implantierten Struktur 
-du-rch- geeignete Vorverstarker und optisehe oder elektromagne- 
tische Sender an den Encoder gemeldet und daft dort die regi- 
strierten neuronalen Signale fur verschiedene Zwecke der En- 
coderfunktion weiterverarbeitet werden. 

Zur technischen Anpassung des Leuchtdichte-Arbeitsbereiches 
aus einem z.B. uber sechs bis zehn Leuchtdichtedekaden rei- 
chenden Funktionsbereich des Photosensorarrays, der sowohl 
grofie Teile des skotopischen Bereiches der Dunkeladaptation 
als auch des photopischen Bereiches der Helladapation umfailt, 
wird eine schnell verstellbare elektronische Abbildung auf 
einen internen Arbeitsbereich flir den Encoder bezuglich Grolie 
und Adaptationsleuchtdichte wahrnehmungsbasiert, automatisch 
gewahlt oder vom Benutzer eingestellt. Dadurch werden visuel- 
le Szenen von sehr unterschiedlicher Leuchtdichte in den je- 
weiligen Arbeitsbereich komprimiert und Kontrastoptimierung 
sowie Blendungsvermeidung erzielt. Ferner besteht eine vor- 
teilhafte Ausgestaltung darin, daft die RF-Filterfunktionen 
z.B. entsprechend neurobiologisch bekannten Verlaufen mit dem 
Adaptationsbereich verstellt werden konnen. 


Bei einer vorteilhaf ten Aus ftihrungs form ist ein Vorverarbei- 
tungsmodul vorgesehen, das zur Erkennung charakteristischer 
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Muster und/oder zur Datenreduktion eingerichtet ist. Dabei . 
kann das Vorverarbeitungsmodul helle und dunkle Bildbereiche 
unterschiedlicher Beleuchtung erkennen, voneinander abgrenzen 
und zu einem Gesamtbild mit jeweils regional optimalem Kon- 
trast integrieren, ebenso konnen nahe und entfernt liegende 
Bildbereiche voneinander getrennt beziiglich Scharf einstellung 
optimiert und danach wieder als Gesamtbild integriert werden, 
und schliefilich konnen charakteristische Muster wie z. B. 
Warnschilder hervorgehoben werden. Diese Vorverarbeitung kann 
zur Verbesserung der Bilddarstellung, aber auch zur Erzeugung 
von Warnhinweisen sowie zur Datenreduktion im Kommunikations- 
kanal zwischen der Kamera und dem Encoder dienen. 

Weiter ist es von Vorteil, wenn in einem Verf ahrensablauf die 
Adaptation der Akkommodat ion zunachst, beispielsweise im Vor- 
dergrund, scharf eingestellt werden, diese Bereiche gespei- 
chert werden und dann zweite Bereiche des Blickfeldes als 
Bild scharf eingestellt werden, beispielsweise der Hinter- 
grund eines Blickfeldes. Die dabei unscharf werdenden ersten 
Bereiche werden aus dem zweiten Bildmuster ausgeblendet und 
durch die ersten gespeicherten, scharf en Bereiche ersetzt. 
Hierdurch wird eine im Rahmen der geometrischen Optik nicht 
erreichbare Tief enscharf e erzeugt. Bei sich zyklisch wieder- 
holendem Ablauf dieser Verf ahrensschritte und einem entspre- 
chenden Bildausgleich kann dieser Vorgang von einem Benutzer 
unbemerkt bleiben, so daft auch bei geringen Lichtstarken und 
langen Brennweiten der zugehorigen Optik ein Bild von grofier 
Tief enscharf e scheinbar erreicht wird. 

Das lernfahige Vorverarbeitungsmodul verarbeitet das Bildmu- 
ster oder Schallmuster durch neuronale Netze oder in Hardware 
verfiigbare Vorverarbeitungs-Algorithmen fur eine Sehprothese 
insbesondere beziiglich Farbe, Kontrast, Kantendetektion, Seg- 
mentierung und Figur-Hintergrund Trennung oder fur eine Hor- 
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prothese z. B. beziiglich Unterdruckung von Storgerauschen, 
unerwiinschten Formanten und Separation einzelner Schallquel- 
len, derart, daft das nachgeschaltete RF-Filter Array erheb- 
lich vereinfachte und teilweise aus dem Musterraum in einen 
Merkmalsraum abgebildete Bildmuster oder Schallmuster erhalt, 
die dem kontaktierten Teil des Sehsystems bzw. Horsystems 
moglichst gut angepafit sind. Die verschiedenen Vorverarbei- 
tungsf unktionen werden vom Benutzer direkt oder durch wahr- 
nehmungsbasierten Dialog eingestellt bzw. gewahlt oder auto- 
matisch eingestellt. Die Cfbermittlung eines derart verein- 
fachten Bildes an den Retinaencoder ist fur die Gestalterken- 
nung auch bei einer beschrankten Anzahl von kontaktierten 
Nervenzellen des Sehsystems vorteilhaft. Bei der Vorverarbei- 
tung ftir Horprothesen ergeben sich entsprechenden Vorteile, 
wenn komplexe Schallmuster im Wege der Vorverarbeitung ftir 
die Spracherkennung aufbereitet werden. 

Im folgenden wird eine Ausf uhrungsf orm der erf indungsgemafien 
Encodervorrichtung und des zugehorigen Verfahrens anhand der 
Zeichnung erlautert. Es zeigen: 

Fig.l: eine Sehprothese am Beispiel eines Retina Implants; 

Fig. 2: einen lernfahigen Encoder mit Dialogsystem; sowie 

Fig. 3: Schema der Detektoren von Kopfbewegungen und Augen- 
bewegungen, des Retinaencoders vor einem Auge sowie 
einer Halsmanschette zur taktilen Ruckmeldung von 
Objektpositionen; 


Fig. 4: 


eine schematische Darstellung einer implantierten 
Mikrokontaktstruktur zur Stimulation von nicht un- 
mittelbar kontaktiertem Nervengewebe; 
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Fig. 5: die Darstellung einer Szene mit sehr unterschiedli- 
chen Helligkeitsbereichen und Bereichen unter-. 
schiedlicher Fokussierungsent f ernung; sowie 

Fig. 6: den Verlauf der Helligkeitsstuf en in der Kameraab- 
bildung fur vier verschiedene Bildbereiche aus Fi- 
gur 5 . 

Fig. 1 zeigt schematisch eine Sehprothese am Beispiel eines 
Retina Implants mit einem in einem Brillengestell befestig- 
ten, lernfahigen, sensomotorischen Encoder mit Bildverschie- 
bung, einem nahe der Ganglienzellschicht im Auge implantier- 
ten Interface fur Stimulation und Registrierung als Mikrokon- 
taktstruktur 2 mit Zusatzelektronik und einer bidirektiona- 
len, drahtlosen Signal- und Energieubertragung zwischen En- 
coder und Interface. Die einzelnen spatiotemporalen Filter . 
(RF-Filter) des Encoders mit jeweils etwa runden Ausschnitten 
des Photosensorarrays 4 in der Eingangsebene (links) und zu- 
gehorigen Signalausgangen in der Ausgangsebene (Mitte) repra- 
sentieren typische rezeptive Feldeigenschaf ten z.B. von Gang- 
lienzellen der Primatenretina, oder von Neuronen im visuellen 
Cortex und sind durch einen Parametervektor individuell funk- 
tionell verstellbar. Das Interface empfangt nicht nur Stimu- 
lationssignale vom Encoder, sondern sendet seinerseits auch 
registrierte neuronale Impulssignale an den Encoder. Die zu- 
satzlich zum lernfahigen Encoder gehorenden Komponenten, wie 
z.B. die zentrale Kontrolleinheit , oder das den RF-Filtern 
vorgeschaltete Vorverarbeitungsmodul sind in Fig. 1 nicht 
dargestellt . 

Fig. 2 zeigt das Schema eines Encoders 1 mit Dialogsystem in 
Kopplung mit dem zentralen Sehsystem, entweder als Modell 
(Einsatz bei normalsichtiger Person), oder als reales System 
von der Ebene der implantierten Mikrokontakte bis zur visuel- 
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len Wahrnehmung (Einsatz bei Implantattrager ) . Der Winkel als 
exemplarisches Bildmuster auf dem Photosensorarray (links), 
reprasentiert gleichzeitig ein Sollmuster auf einem Monitor, 
welches sich nach rechts oben bewegt Auf dem anschliefienden 
internen Bildmusterarray , welches elektronisch im Encoder 
realisiert ist, bewegt sich der Winkel in dem Beispiel von 
einer anderen Ausgangsposition aus in eine andere Richtung, 
um die Funktion einer technischen Bildverschiebung nach An- 
spruch 18 anzudeuten. Der Schirm rechts zeigt das zugehorige 
Ist-Bildmuster und reprasentiert entweder einen zweiten Moni- 
tor (normal si chtige Person) , oder eine virtuelle Projektion 
des vi'suellen Wahrnehmungsraumes " (implantattrager) * Die sich 
von links oben nach rechts unten bewegende elliptische Schei- 
be reprasentiert das korrespondierend wahrgenommene Ist- 
Bildmuster. Der Mensch (unten rechts) artikuliert seine sub- 
jektive Bewertung des Vergleiches zwischen Soil- und 1st- 
Muster iiber eine mehrkanalige Bewertungseingabe . Das Dialog- 
modul als neuronales Netz mit Entscheidungssystem (unten) 
bildet die Ausgangssignale der Bewertungseingabe auf einen 
Parametervektor zur Verstellung der RF-Filter Bei Austausch 
von Bildmustern durch Schallmuster und des Sehsystems durch 
das Horsystem gilt Fig. 1 entsprechend fur den Einsatz des 
Encoders fiir Horprothesen . 

Fig. 3 zeigt schematisch eine vorteilhafte Ausgestaltung des 
Encoders bezuglich der Positionierung eines mehrdimensional 
funktionierenden Kopfbewegungssensors K oberhalb des Ohres, 
eines mehrdimensional funktionierenden Augenbewegungssensors 
A sowie den in einem Brillengestell integrierten Encoder mit 
angedeutetem bewegtem Bildmuster. Eine Halsmanschette H zur 
Erzeugung von lokalen taktilen Empfindungen z.B. durch Vibra- 
tion gibt dabei dem Benutzer Inf ormationen iiber die relative 
Lage eines Objekts zu ihm selbst. Wandert ein vor ihm liegen- 
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des Objekt nach links aus dem Blickfeld, so wandert der auf 
dem Hals erzeugte Vibrationsbereich ebenfalls nach links,, wie 
es in Fig. 3 angedeutet ist. 

Die Figur 4 zeigt eine veranschaulichte Darstellung von Mi- 
krokontakten 6, die in Nervengewebe 8 eingreifen. Im vorlie- 
genden Beispiel sind drei Mikrokontakte 16, 17, 18 in das 
Nervengewebe 8 implantiert und dort mehr oder weniger zufal- 
lig nahe bestimmten Nervenzellen positioniert . Die Mikrokon- 
taktstruktur 6, 16, 17, 18 ist in jedem Fall wesentlich gro- 
ber als die Matrix der Nervenzellen 8. Die Mikrokontakte 16, 
.... . -1-7-,- -18 werden- liber -den Stimula-to.r.„12_ mi.t-Signa.len SI., -S2. und. 
S3 versorgt. 

Um eine gezielte neuronale Anregung zu schaffen, muft bei- 
spielsweise ein Stimulationsf okus F erreicht werden, der 
nicht unmittelbar von einem Mikrokontakt betroffen werden 
kann. Der Stimulationsf okus F kann aber erreicht werden, in- 
dent die Signale SI, S2 und S3 mit unterschiedlichen Starken, 
Zeltverlauf en und vor alien Dingen zeitlichen Abstanden zu- 
einander zu den Elektroden 16, 17 und 18 geleitet werden. Die 
Uberlagerung der erzeugten Signale kann dann so eingerichtet 
werden, daii das Zusammentref f en der Signale im Bereich des 
angestrebten Stimulationsf okus F die Reizschwelle einzelner 
oder weniger Nervenzellen tiberschreitet , wahrend die Addition 
der Signalverlaufe im iibrigen Bereich des Nervengewebes un- 
terhalb der Reizschwelle bleibt. 

Durch Anderung der zeitlichen Abfolge und des zeitlichen Si- 
gnalverlaufs der verschiedenen aufeinander abgestimmten Si- 
gnale kann auch der Stimulationsf okus von F nach F x verlagert 
werden. Fur den Abgleich dieser Anregungsf unktionen, die ei- 
nen Stimulationsf okus erreichen, der nicht unmittelbar mit 
Elektroden in Verbindung steht, ist ein Lernvorgang erf order- 
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lich. Da man nicht genau weiB, welcher Stimulationsf okus F, . 
F x ftir eine bestimmte neurale Anregung angesprochen werden 
muJi, kann die lernfahige sensomotorische Kontrolleinheit nur 
ein bestimmtes Signalmuster anbieten, das der Implantattrager 
liber eine Sinneswahrnehmung oder eine andere Sensordatenaus- 
wertung dann beurteilt. Ein zweites Signalmuster, das gegen- 
uber dem ersten verandert wurde, wird dann ebenfalls darauf- 
hin beurteilt, ob es die gezielte neurale Anregung erreicht 
oder nicht, Der Benutzer braucht lediglich zu sagen, ob das 
spatere Signalmuster besser oder schlechter als das vorherige 
geeignet ist. Mit dem Regelmechanismus eines neuronalen Net- 
zes wird im Laufe des Regelvorgangs eine optimale Signal- 
Zeitfunktion ftir die Elektroden 16, 17, 18 zur Anregung des 
Stimulationsf okus F ermittelt. 

Die Figur 5 zeigt eine durch die Fotosensoren in der Praxis 
wahrgenommene Szene, bei der eine Terrassentur 30 aus einem 
Raura heraus betrachtet wird. Die Ttir 30 weist ein Fenster 31, 
ein Schliisselloch 32 und ein Turblatt 33 auf. Vor der Ttir 
hangt eine Spinne 34, und durch das Fenster 31 ist eine 
Strandszene 35 sichtbar. 

Die Beleuchtungsunterschiede in dieser Szene liegen zwischen 
etwa 10* 1 cd/m 2 im Bereich des Turschlosses iiber 10" cd/m 2 im 
Bereich der Spinne und 10 1 cd/m 2 im Bereich des Turblattes 
bis hin zu 10 4 - I0 b cd/m 2 im Auftenbereich . Derartige Hellig- 
keitsunterschiede sind simultan mit herkommlichen Kameras und 
im iibrigen auch mit dem menschlichen Auge nicht sichtbar. Die 
Helligkeitsanpassung erfolgt immer nur in dem jeweils be- 
trachteten Bereich. 

In der Figur 6 ist in Gestalt eines Diagramms dargestellt, 
wir das Vorverarbeitungsmodul der Kamera 1 aufgrund seiner 
Mustererkennungsfuktionen die einzelnen Bereiche voneinander 
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abgrenzt und mit unterschiedlichen Funktionen in Helligkeitsr 
stufen der Kameraabbildung umsetzt. Auf der x-Achse ist die 
Leuchtdichte in cd/m 2 iiber insgesamt 9 Dekaden auf gezeichnet, 
so wie sie im realen Bild der Figur 5 auftritt. Die y-Achse 
zeigt die 256 relativen Einheiten der Helligkeitsinf ormation, 
die von der Kamera bzw. deren Vorverarbeitungsmodul der Bild- 
darstellung zugewiesen wird. 256 Einheiten entsprechen einer 
Helligkeitsmodulation von 8 Bit. 

Eine erste Leuchtdichtekurve L32 zeigt den Bereich der 
Leuchtdichte des Turschlosses 32, abgebildet auf die 256 re- 

lativen- -H-e-14-i-^ - 

Helligkeitskurven L33 fur das Turblatt 33, L34 fur die Spinne 
34 und L35 fur den Aufienbereich 35 sind ebenfalls darge- 
stellt. 

Das Vorverarbeitungsmodul erkennt in der eingehenden Abbil- 
dung unterschiedliche, konturenschar f voneinander abgegrenzte 
Bereiche mit den vier unterschiedlichen Helligkeitsbereichen. 
Diese Bereiche werden rechnerisch voneinander getrennt und 
jeweils mit optimaler Auflosung auf die 256 Helligkeitsstuf en 
der Kameraabbildung transponiert . Im Ergebnis zeigt sich dem 
Betrachter der Szene gemaii Figur 5 ein Bild, bei dem die 
Bildbereiche 32, 33, 34 und 35 in der Darstellung gleich hell 
und mit entsprechender Strukturierung in den verschiedenen 
Helligkeitsstufen dargestellt werden. Eine solche Darstellung 
kann ungewohnt sein, sie bietet aber einen Detailreichtum in 
verschiedenen Regionen, der weder mit dem menschlichen Auge 
noch mit herkommlichen Kamerasystemen simultan darstellbar 
ist . 

Die Abbildung gemaii Figur 5 zeigt auch Objekte unterschiedli- 
cher Distanz. So sind die Objekte 32, 33 und 34 beispielswei- 
se auf einer Entfernung von 2 m vom Betrachter angeordnet, 
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wahrend die dem Aufienbereich 35 zugeordnete Palme 36 in einer 
Entfernung von 40 m stehen kann. Mit herkommlichen Kameraob- 
jektiven ist es in der Regel nicht moglich, beide Objekte 34 
und 35 gleichzeitig scharf zu stellen. Die verfligbaren Tie- 
f enscharfenbereiche reichen hierfiir in der Regel nicht aus. 

Der lernfahige sensomotorische Encoder kann gemeinsam mi t dem 
Vorverarbeitungsmodul zunachst den entfernt liegenden Bereich 
35 scharf stellen und dort konturenscharf abgegrenzte Regio- 
nen (Palme) erkennen und speichern. Sodann kann ein zweiter 
Entf ernungsbereich gewahlt werden, bei dem die Spinne 34 
scharf ei-nges-tel-l-t~w-i~rd, —.wahrend- der-BereAGh-~-35 unscharf- 
wird. Das Vorverarbeitungsmodul kann diesen Umstand erkennen 
und anstelle des unscharf gewordenen Bereichs 35 den zuvor 
ermittelten und gespeicherten scharfen Bildinhalt rechnerisch 
in das auf kurze Entfernung fokussierte Bild einftigen. Diese 
Abfolge kann in einer Art Fokusscanning zyklisch wiederholt 
werden, so daft standig aus verschiedenen Fokussierungsentf er- 
nungen scharfe Bereiche ermittelt, gespeichert und zu einem 
insgesamt scharfen Bild zusammengefiigt werden. Die Tiefen- 
scharfe, die auf diese Art und Weise virtuell erreichbar ist, 
ubersteigt diejenige eines normalen optischen Systems urn ein 
Vielfaches. Bei ausreichender Wiederholf requenz des Verfah- 
rensablaufs ist fiir den Benutzer das erzeugte Bild von einem 
realen Bild nur anhand der besonders groJJen Tief enscharf e zu 
unterscheiden. 

Erf indungsgemali wird ein Encoder vorgeschlagen, der diverse 
Funktionen durch neuronale Netze im Dialog mit dem Implantat- 
trager optimiert, bei dem verschiedene Funktionsmoden ange- 
wahlt sowie die Positionen erfaliter Objekte wahrgenommen wer- 
den konnen und der vor Hindernissen warnt, die technische Er- 
kennung von Mustern meldet sowie die Zahl der selektiv er- 
reichbaren Stimulationsorte funktionell erhoht und die neuro- 
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nale Aktivitat einzelner Neuronen uberwacht. Die implantiert.e 
Struktur kann unter Verwendung geeigneter sensorischer und 
aktorischer Komponenten sowie eines lernfahigen Kontrollsy- 
stems teilweise autonom sensomotorisch agieren. 

Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfin- 
dung sind den Unteransprtichen entnehmbar. 

Der lernfahige Encoder zeichnet sich gegenuber den bekannten 
Sehprothesensystemen durch eine Reihe von wesentlichen Vor- 
teilen aus . Erstmals wird hier ein Encoder vorgeschlagen, der 
bereits von normal sichti gen Personen vortrainiert und an- 
schlieiiend vom Implantattrager dem Funktionsbedarf individu- 
ell angepaflt werden kann. Erstmals wird hier ein Encoder of- 
fenbart, der sowohl Augenbewegungsf unktionen leisten als auch 
unerwiinschte Augenbewegungen kompensieren kann. Ferner wird 
erstmals ein Encoder offenbart, der die Zahl der selektiv er- 
reichbaren Stimulationsorte funktionell erhoht und sich auch 
spater an neue Stimulat ionsbedingungen anpassen kann. Ferner 
wird erstmals ein Encoder offenbart, der bidirektional funk- 
tioniert, also neben der Stimulationsf unktion auch eine Uber- 
wachung und Auswertung der neuronalen Aktivitat der zu stimu- 
lierenden Neuronen gestattet. Entsprechende Vorteile ergeben 
sich bei Einsatz des lernfahigen Encoders gegenuber den bis- 
her entwickelten Horprothesensyste'men. 

Die Anpassungsf ahigkeit der Abbildungsfunktionen der einzeln 
justierbaren spatiotemporalen Filter des Encoders mit rezep- 
tiven Feldeigenschaften (RF-Filter) im gesamten neurophysio- 
logisch relevanten Funktionsraum wird im Verband mit neurona- 
len Netzen oder anderen Parametereinstellverf ahren beim Ein- 
satz fur Seh- oder Horprothesen sichergestellt . 
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Die individuell im wahrnehmungsbasierten Dialog festzulegen- . 
den Abbildungsfunktionen der einzelnen RF-Filter werden den 
vom Sehsystem erwarteten rezeptiven Feldeigenschaf ten hinrei- 
chend ahnlich, passen sich also der Funktion des aus Hinter- 
einanderschaltung von Encoder und angekoppeltem zentralem 
Sehsystem bestehenden visuellen Systems an. Dies bedeutet ei- 
nerseits, daft der durch RF-Filter bereitgestellte, spatiotem- 
porale Funktionsraum den neurophysiologisch relevanten Funk- 
tionsraum einschlieftt und andererseits, daft die RF-Filter 
durch Parameterverstellung mit Hilfe eines neuronalen Netzes 
eine kontinuierliche Bewegung im Funktionsraum mit geeigneten 
Einstellverf ahren gestatten. Entsprechendes gilt bei Einsatz 
des Encoders in Horprothesen. 

Bereits im Einsatz mit normalsichtigen Personen wird eine 
sinnvolle Voreinstellung der RF-Filter in Anlehnung an ent- 
sprechende neurophysiologische Daten zur Funktion des Sehsy- 
stems bzw. Horsystems von Primaten vorgenommen. Das Dia- 
logverfahren wird dazu mit den zugehdrigen Komponenten unter 
realistischen Bedingungen durch Simulation des Wahrnehmungs- 
prozesses erprobt. Entsprechendes gilt bei Einsatz des En- 
coders in Horprothesen. 

Die den einzelnen Mikrokontakten zugeordneten RF-Filter wer- 
den individuell im Dialog zwischen ' Encoder und Implantattra- 
ger auf optimale visuelle bzw. auditorische Wahrnehmungsqua- 
litat abgestimmt. 

Im Unterschied zu einem Encoder mit starrer Vorverarbeitung, 
also ohne individuelle Verstellmoglichkeit, werden hier auf 
der Basis des einzig relevanten Kriteriums, namlich der er- 
zielten Sehwahrnehmung oder Horwahrnehmung, die einzelnen RF- 
Filter als separate Encoderkanale justiert. Spatere Funkti- 
onsanderungen der Sehprothese, z.B. infolge der Verlagerung 
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von Mikrokontakten, oder von Anderungen des Funktionsanteiles. 
des zentralen Sehsystems am gesamten Wahrnehmungsprozefi kon- 
nen durch entsprechende Anpassungen der RF-Filterf unktion 
ausgeglichen werden. Ein Vorteil der Abstimmung der RF-Filter 
Funktion im Dialog mit dem Implantattrager besteht in der Be- 
rucksichtigung von Funktionsaspekten, die nur der jeweilige 
Implantattrager und nur in impliziter Form durch subjektive 
Bewertung seiner Sehwahrnehmung und deren Verwendung fur die 
Encoderjustierung in den Optimierungsprozeft einbringen kann. 
Entsprechendes gilt fur eine Horprothese. 

Di-e- asynchronen -Impuis-f o-l-gen- der- ei-nzeinen--RF^Filterausgange 
der zunachst funktionell getrennten Encoderkanale werden als 
Stimulationssignale fur selektive Stimulationsorte im Dialog 
mit dem Implantattrager unter Beriicksichtigung der regi- 
strierten neuronalen Impulse aufeinander abgestiramt . 

Weil die zeitliche Kopplung bzw. Synchronisation der neurona- 
len Impulse mehrerer Neuronen zur neurobiologischen Signalco- 
dierung in sensorischen Systemen mitverwendet wird, bringt 
diese hier technisch (auch durch Auswertung der registrierten 
neuronalen Aktivitat zu stimulierender Neuronen) realisierte, 
zeitliche Kopplung den Vorteil einer Verbesserung der visuel- 
len Wahrnehmungsqualitat . 

Die Zahl der selektiv er-reichbaren Stimulationsorte und deren 
Trennscharfe bzw. Ubersprechdampfung bei einer festen Zahl 
von implantierten Mikrokontakten wird funktionell erhoht. 

Bei einer gegebenen relativ gerihgen Zahl implantierter und 
dauerhaft f unktionstuchtiger Mikrokontakte, deren Position 
relativ zu den Neuronen nicht modifiziert werden kann, ist es 
von groJiem Vorteil, funktionell, also durch Erzeugung geeig- 
neter Signale, die Zahl der selektiv erreichbaren Stimulati- 
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onsorte bzw. Neuronen und damit gleichzeitig die Zahl der se- 
parat verfugbaren Encoderkanale bei einer hinreichenden Re- 
serve an RF-Filtern zu erhohen. Dies bewirkt eine Verbesse- 
rung der visuellen Wahrnehmungsqualitat. 

Die Detektion der Augen- und Kopfbewegungen hat den Vorteil 
der Bestimmung der aktuellen Position von visuellen Objekten 
im Raum. Ferner besteht ein Vorteil darin, unerwunschte reale 
Augenbewegungen durch entsprechend simulierte Augenbewegungen 
zu kompensieren und ferner Sehwahrnehmungskonf likte, wie z.B. 
Scheinbewegungen, oder Schwindel zu unterdriicken . 

Die Erzeugung der einzelnen Bewegungsf unktionen als separat 
Oder kombiniert wahlbare Programme hat den Vorteil, daB der 
Implantattrager die Programme je nach dem Nutzen ftir die vi- 
suelle Wahrnehmungsqualitat selbst wahlen kann, statt einer 
automatischen Funktion unterworfen zu sein. Dennoch ist eine 
Entscheidung zwischen Automatik und Wahlbetrieb moglich. 

Es ist fur den Implantattrager von sehr groiier Bedeutung, die 
aktuelle Position eines wahrgenommenen visuellen oder audito- 
rischen Objektes wahrnehmen zu konnen, urn seine Orientierung 
im Raum und ggf . Handlungen danach richten zu konnen. Ferner 
ist es von grofiem Vorteil, dafl der Implantattrager vor Hin- 
dernissen bzw. Gefahren automatisch gewarnt wird und die 
technische Erkennung von Mustern oder Objekten zur Unterstiit- 
zung der Orientierung im Raum gemeldet wird. 

Mit dem Encoder wird eine direkte Verbindung zu einem Teil 
des Nervensystems hergestellt, welches bereits spontan aktiv 
ist. Es werden also neuronale Impulse von einzelnen Neuronen 
ohne technische Stimulation generiert. Zur optimalen Anpas- 
sung der Stimulationspulsf olgen an die jeweilige Spontanakti- 
vitat, zur genauen Bestimmung der Stimulationsparameter fiir 
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eine sichere und gleichzeitig noch biologisch vertragliche . 
Umsetzung von Stimulationspulsen in neuronale Impulse sowie 
zur besseren Optimierung der zeitlichen Abstimmung und Syn- 
chronisation der neuronalen Aktivitat mehrerer Neuronen ist 
die Uberwachung der neuronalen Aktivitat einzelner zu stimu- 
lierender Neuronen von grofiem Vorteil. 

Mit der technischen Anpassung des Arbeitsbereiches ist es 
moglich, im physiologisch helladaptierten oder dunkeladap- 
tierten Leuchtdichtebereich die Funktion an die Bildmuster 
Oder Schallmuster anzupassen, die spatiotemporalen Filterpa- 

r _ ame ter- -ent-sp-rechend- zu- -var i-ieren., _oder__ einen- JVrb.eLt.sb.er.ei.ch ... 

technisch zusammenzustellen, der z.B. aus urn Dekaden vonein- 
ander entfernten Teilbereichen des grofien Photosensorf unkti- 
onsbereiches besteht, 

Vorverarbeitung eintref fender Bildmuster insbesondere beziig- 
lich mit schneller Wahl- und Anderungsmoglichkeit der jewei- 
ligen Vorverarbeitungsf unktionen wird erf indungsgemaJi nach 
dem Vorschlag gemali Anspruch 7 ermoglicht. 

Mit dem vorgeschalteten Vorverarbeitungsmodul kann die Funk- 
tion des aus einer nur begrenzten Zahl von RF-Filtern beste- 
henden Encoders durch wesentliche Vereinf achung des Bildmu- 
sters oder Schallmusters erleichtert und entsprechend die 
Wahrnehmungsqualitat verbessert werden. 
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Patentanspruche 

1. Lernf ahiger , sensomotorischer Encoder (1) fur eine Seh- 
prothese oder Horprothese, mi t einer zentralen Kontrol- 
leinheit fur Signalverarbeitungsf unktionen, Oberwa- 
chungsf unktionen, Steuerf unktionen und externe Ein- 

. . _ . — gri-£f- sf-u-nk-tionen, --sowi-e— m-i-fe- eine-r~-Gr-uppe von adaptiven 

spatioteraporalen Filtern zur Umsetzung von Sensorsigna- 
len in Stimulationspulsf olgen, dadurch g e - 
kennzeichnet, da/5 die Sehprothese oder Hor- 
prothese eine bidirektionale Schnittstelle zur Kopplung 
des Encoders (1) mit einer implantierbaren Mikrostruktur 
(2,6) zur Stimulation von Nerven- oder Gliagewebe einer- 
seits sowie zur Funktionsiiberwachung von Hirnf unktionen 
andererseits vorgesehen ist. 


2. Encoder nach Anspruch 1, dadurch g e - 

kennzeichnet, dafl die Kontrolleinheit in 
einem wahrnehmungsbasierten Dialogverf ahren einstellbare 
spatiotemporale Filter mit rezeptiven Feldeigenschaf ten 
(RF- Filter) umfaftt. 


3. Encoder nach einem der vorhergehenden Anspruche, da- 
durch gekennzeichnet, daft ein si- 
muliertes Augenbewegungssystem mit Kopf- und Augenbewe- 
gungsdetektoren (K, A) vorgesehen ist- 
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4. Encoder nach einem der vorhergehenden Anspruche, da-, 
durch gekennzeichnet, daft den RF- 
Filtern steuerbare Zeitverzogerungsglieder flir die rela- 
tive zeitliche Abfolge der erzeugten Impulsfolgen 
(Si f S2/S:0 zugeordnet sind. 

5. Encoder nach einem der vorhergehenden Anspriiche, d a - 
durch gekennzeichnet, daft ein Mo- 
nitor vorgesehen ist, der die von den RF-Filtern erzeug- 
te Abbildungsfunktion zumindest naherungsweise inver- 

-tie-r-t--und--optisch--0-der_a.ku.S-ti^ 

6. Encoder nach einem der vorhergehenden Anspruche, d a - 
durch gekennzeichnet, daft implan- 
tatseitig eine Vorrichtung zur von. der zentralen Kon- 
trolleinheit gesteuerten Applikation eines Wirkstoffs 
vorgesehen ist und daft implantatseitig die neuronale Ak- 
tivitat von Neuronen registriert und an ein Oberwa- 
chungssystem der zentralen Kontrolleinheit ubergeben 
wird. 

7. Encoder nach einem der vorhergehenden Anspruche, d a - 
durch gekennzeichnet, daft ein 
lernfahiges Vorverarbeitungsmodul in der zentralen Kon- 
trolleinheit des Encoders (1) zur Vereinf achung von 
Bildmustern oder Schallmustern vorgesehen ist. 

8. Verfahren zum Betrieb eines Encoder nach einem der vor- 
hergehenden Anspruche, dadurch gekenn- 
zeichnet, daft 

- zur individuellen Einstellung der Signalverarbeitungs- 


WO 98/36795 Best Available Copy PCT/EP98/00968 

- 30 - 

funktionen in einem Dialogverf ahren eine wenigstens 
einkanalige Bewertungseingabeeinheit (3) mit einem sub- 
jektiven Bewertungsvektor gespeist wird, wobei der Be- 
wertungsvektor die Ahnlichkeit des jeweils wahrgenomme- 
nen Bildmusters - Oder Schallmusters - mit einem Sollmu- 
ster reprasentiert, 

- daii der Bewertungsvektor in dem Dialogmodul (3) an ein 
Parametereinstellungssystem zur Erzeugung geeigneter 
Folgen von Parametervektoren, insbesondere an ein neuro- 
nales Netz mit nicht-uberwachter Lernregel, iibergeben 
wird, 

und daii das Dialogmodul 73) an einem mehrkanaligen 
Ausgang einen Parametervektor fur die jeweils einzustel- 
lenden Signalverarbeitungsf unktionen erzeugt. 

9. Verf ahren nach Anspruch 8, dadurch gekenn- 
zeichnet, daft die Signalverarbeitungsf unktionen von 
RF-Filtern gebildet werden. 

10. Verf ahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daii das 
Dialogmodul (3) in einem Entscheidungssystem geeignete 
Mustersequenzen ftir die Lernphase zur einzelnen oder 
gruppenweisen Optimierung der RF- Filter festlegt. 

11. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daft in- 
tern gespeicherte Seguenzen von Parametervektoren zur 
Festlegung von typischen RF-Filterfunktionen erzeugt 
werden. 
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12. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daft die 
RF-Filter einen spatiotemporalen Funktionsraum haben, 
der den Funktionsraum der rezeptiven Feldeigenschaf ten 
visueller oder auditorischer Neuronen am jeweiligen Im- 
plantationsort einschlieJit . 

13. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, dafi ein 

.von .den . j\F-Filte JSi, S^S.O zur Auslo- 

sung einer Ist-Wahrnehmung an die implantierbare Mi- 
krostruktur (2,6) und simultan das dazugehorige Sollmu- 
ster an eine zweite Ausgabeeinheit, die einem anderen 
menschlichen Sinnesorgan zuganglich ist, abgegeben wird. 

14. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daft zur 
funktionellen Erhohung der Zahl und Trennscharfe der se- 
lektiv erreichbaren Stimulationsorte (F, F' ) bei einer 
gegebenen Zahl von stationar implantierten Mikrokontak- 
ten (2,6) die Impulssignale (Si,S_, von jeweils einem 
RF-Filter an mehrere, ortlich . benachbarte Mikrokontakte 
(16,17,18) geleitet werden. 

15. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daJJ die 
selektiven Stimulationsorte (F, F') durch geeignete Va- 
riation der superponierten Impulssignale (Si,S2,S 3 ) zur 
drtlichen Verlagerung des Stimulationsf ocus (F, F') 
schnell gewechselt werden konnen. 
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16. Verfahren nach einem der vorhergehenden Anspruche, 

dadurch gekennzeichnet, dafi die 
Variation der Stimulationssignale (Si, Si-, S;,) zur Verlage- 
rung des Stimulationsf ocus ( F, F' ) im wahrnehmungsbasier- 
ten Dialog mit dem Implantattrager iiber ein neuronales 
Netz oder andere Optimierungsalgorithmen in der zentra- 
len Kontrolleinheit zur Bestimmung moglichst vieler, zu 
selektiver und trennscharf er neuronaler Erregung fuhren- 
der Stimulationsorte erfolgt. 

1.7. _Vexfahren nach einem de r vor hergehenden Anspruche/ 

dadurch gekennzeichnet, dali 
durch Vergleich registrierter neuronaler Impulse mit den 
Stimulationssignalen (S 3 , S.-,) die aus spontan auftre- 
tenden neuronalen Impulsen und durch Stimulation erzeug- 
ten zusatzlichen Impulsen zusammengesetzte neuronale Er- 
regung beziiglich der Selektivitat und der Biovertrag- 
lichkeit verbessert wird. 

18. Verfahren nach einem der vorhergehenden Anspruche, da- 
durch gekennzeichnet, daft zur Simulation von 
Augenbewegungen Kopfbewegungen und unerwiinschte reale 
Augenbewegungen detektiert werden, dali Augenbewegungen 
mittels elektronischer Bildmusterverschiebung und/oder 
optischer Variation der Blickrichtung und/oder Bewegung 
der Photosensoren simuliert werden, dali unter Verwendung 
der detektierten realen Kopf- und Augenbewegungssignale 
sowie der Simulation der Augenbewegungen mittels einer 
Bewegungssteuerung oder -regelung schnelle und langsame 
Augenbewegungen fur Aufgaben der Mustererkennung , Ver- 
folgung bewegter Objekte und zum schnellen Umherblicken 
erzeugt werden. 
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19. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daft . 
Kopfbewegungen und reale Augenbewegungen detektiert wer- 
den und daft unter Verwendung der detektierten Kopf- und 
Augenbewegungen mit Hilfe einer Bewegungssteuerung oder 
-regelung schnelle und langsame simulierte Augenbewegun- 
gen erzeugt werden, urn unerwunschte reale Augenbewegun- 
gen oder Scheinbewegungswahrnehmungen zu kompensieren . 

20. Verfahren nach einem der vorhergehenden Anspruche, 
d a. _d _u__r_ _c__h g_e_ i _e_.n _n z e i c h n e t , da ft zur 

Lagestabilisierung der Bildmuster bei naturlichen Kopf- 
Rumpfbewegungen kompensatorische Augenbewegungen in An- 
lehnung an den vestibulo-okularen Reflex erzeugt werden 

21. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daft zur 
technischen Anpassung des Leuchtdichtearbeitsbereiches 
aus dem tiber mehrere Leuchtdichtedekaden reichenden 
Funktionsbereich des Photosensorarrays (4) ein Arbeits- 
bereich fur den Encoder (1) beziiglich Grofte und Adapta- 
tionsleuchtdichte gewahlt werden kann, und daft dieser 
ausgewahlte Arbeitsbereich aus nichtlinear bewerteten 
Ausschnitten des Funktionsbereichs zusammengesetzt wer- 
den kann. 
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22. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daft 
durch ein geeignetes Abbildungsystem visuelle Szenen 
(32,33,34,35) mit ortlichen Teilbereichen sehr unter- 
schiedlicher Leuchtdichte (L32, L33, L34 , L35) in den je- 
weiligen, gemeinsamen Leuchtdichtearbeitsbereich des En- 
coders transponiert werden konnen und damit beispiels- 
weise die visuelle Wahrnehmung invariant gegenuber einer 
Veranderung der mittleren Szenenleuchtdichte gemacht 
wird . 


23. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daft die 
RF-Filterfunktionen zur Simulation der Wahrnehmung im 
hell- Oder dunkel adaptierten Bereich bei Bedarf mit dem 
Leuchtdichte-Arbeitsbereich des Encoders verstellt wer- 
den . 

24. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daft so- 
wohl die Leuchtdichte-Arbeitsbereichswahl als auch die 
zugehorige RF-Filterverstellung insbesondere im wahrneh- 
mungsbasierten Dialog automatisch wahrend simulierter 
Augenbewegungen, oder wahrend der Mustererkennung 
schnell verandert werden konnen. 

25. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daft in 
einem Ablauf durch Variation der Akkommodation zunachst 
erste Bereiche (35,36) des Blickfeldes scharf einge- 
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stellt werden, diese Bereiche (35,36) gespeichert wer- 
den, sodann zweite Bereiche (32,33,34) des Blickfeldes 
als Bild scharf eingestellt werden, wobei die ersten Be- 
reiche (35,36) unscharf werden, und dafi die ersten ge- 
speicherten Bereiche (35,36) anstelle der ersten un- 
scharf gewordenen Bereiche (35,36) in das Bild einge- 
blendet werden. 

26. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, dafi der 

Ab 1 auf . _s.i_ch z yklisch wiederho 1 1 

27. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daB die 
vom Encoder (1) unter Auswertung von Bildmuster-, Augen- 
und Kopfbewegungen ermittelte Position eines visuell er- 
fafiten Objektes im Raum, oder dafi die unter Auswertung 
von Schallmusterbewegungen ermittelte Position eines au 
ditorisch erfaflten Objektes im Raum mit einem geeigne- 
ten, mitgefuhrten Signalgeber (H) an ein geeignetes Sin 
nesorgan gemeldet wird. 

28. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daii der 
Encoder durch interne Mustererkennungsprogramme, insbe- 
sondere in Verbindung mit automatisch ablaufenden, simu 
lierten Augenbewegungen, den Implantattrager vor Hinder 
nissen oder Gefahren warnt sowie Art und Position tech- 
nisch erkannter Muster oder Objekte meldet. 
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eine Benutzung. eine Ausstellung oder andere MaRnahmen bezieht 

'P M Verottentlichung, die vor dem internationalen Anmeldedatum. aber nach 
dem beanspruchten Pnontatsdatum verbflentlicht worden ist 


" Spatere Verottentlichung. die nach dem internationalen Anmeldedatum 
oder dem Prioritatsdatum verdtlentlicht worden ist und mil der 
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siehe Seite 1331, Zeile 1 - Seite 1332, 
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Seiten 38-46, 68, XP000597262 
siehe Seite 38, linke Spalte, Zeile 1 - 
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siehe Seite 43, linke Spalte. 
Seite 46, linke Spalte, Zeile 
Abbildungen 6-9 
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